내적

내적은 벡터의 길이, 두 벡터 사이의 각도 혹은 거리와 같은 직관적인 기하학적 개념들을 도입할 수 있게 해준다. 내적의 주된 목적은 벡터들이 서로 직교(orthogonal)하는지를 판별하는 것이다.

3.2.1 점곱(dot product)

우리는 이미 $\mathbb{R}^n$ 공간에서의 스칼라 곱(scalar product) 혹은 점곱(dot product)이라는 특정한 종류의 내적에 익숙할 것이다. 이는 다음과 같이 주어진다:

$$ x^\top y = \sum_{i=1}^{n} x_i y_i \quad (3.5) $$

이 책에서, 우리는 이 특정한 내적을 점곱(dot product)이라고 부를 것이다. 하지만, 내적(inner products)은 더 일반적인 개념으로, 특정한 성질들을 만족해야 한다. 우리는 이제 곧 그것들을 소개할 것이다.

3.2.2 일반적인 내적(general inner products)

2.7절의 선형 사상을 상기해 보자. 우리는 그 사상을 덧셈과 스칼라 곱셈에 대해 재배열할 수 있었다. 이중 선형 사상(bilinear mapping) $\Omega$ 는 두 개의 인자를 가지는 사상이며, 각 인자에 대하여 선형이다. 즉, 벡터 공간 $V$ 를 볼 때, 모든 $x, y, z \in V$ 와 $\lambda, \psi \in \mathbb{R}$ 에 대하여 다음이 성립한다:

$$ \Omega(\lambda x + \psi y, z) = \lambda \Omega(x, z) + \psi \Omega(y, z) \quad (3.6) $$
$$ \Omega(x, \lambda y + \psi z) = \lambda \Omega(x, y) + \psi \Omega(x, z) \quad (3.7) $$

여기서, 식 (3.6)은 $\Omega$ 가 첫 번째 인자에 대해 선형임을 주장하며, 식 (3.7)은 $\Omega$ 가 두 번째 인자에 대해 선형임을 주장한다.

$\to$ 이를 단순 숫자로 예시를 들면 식 (3.6)은 $(2a+3b) \cdot c = 2(a \cdot c) + 3(b \cdot c)$ 이며, 식 (3.7)은 $a \cdot (2b + 3c) = 2(a \cdot b) + 3(a \cdot c)$ 이다.

정의 3.2. $V$ 를 벡터 공간이라 하고 $\Omega : V \times V \to \mathbb{R}$ 를 두 벡터를 받아 하나의 실수로 매핑하는 이중 선형 사상이라고 하자. 그러면:

  • 모든 $x, y \in V$ 에 대하여 $\Omega(x, y) = \Omega(y, x)$ 라면, 즉 인자의 순서가 중요하지 않다면, $\Omega$ 는 대칭(symmetric)이라고 불린다.

  • 만약 다음이 성립하면 $\Omega$ 는 양의 정부호(positive definite)라고 불린다:

$$ \forall x \in V \setminus \{0\} : \Omega(x, x) > 0, \quad \Omega(0, 0) = 0. \quad (3.8) $$

정의 3.3. $V$ 를 벡터 공간이라 하고 $\Omega : V \times V \to \mathbb{R}$ 를 두 벡터를 실수로 매핑하는 이중 선형 사상이라고 하자. 그러면:

  • 양의 정부호이며 대칭인 이중 선형 사상 $\Omega : V \times V \to \mathbb{R}$ 는 $V$ 위에서의 내적(inner product)이라고 불린다. 우리는 보통 $\Omega(x, y)$ 대신 $\langle x, y \rangle$ 라고 쓴다.

  • 쌍 $(V, \langle \cdot, \cdot \rangle)$ 은 내적 공간(inner product space) 또는 내적을 갖춘 (실수) 벡터 공간이라고 불린다. 만약 우리가 식 (3.5)에서 정의한 점곱을 사용한다면, 우리는 $(V, \langle \cdot, \cdot \rangle)$ 을 유클리드 벡터 공간(Euclidean vector space)이라고 부른다.

이 책에서 우리는 이러한 공간들을 내적 공간이라고 칭할 것이다.

예제 3.3 (점곱이 아닌 내적)

$V = \mathbb{R}^2$ 라고 하자. 만약 우리가 다음과 같이 정의한다면:

$$ \langle x, y \rangle := x_1 y_1 - (x_1 y_2 + x_2 y_1) + 2x_2 y_2 \quad (3.9) $$

그렇다면 $\langle \cdot, \cdot \rangle$ 은 내적이지만 점곱과는 다르다. 이에 대한 증명은 연습 문제로 남긴다.

3.2.3 대칭 양의 정부호 행렬

대칭 양의 정부호 행렬은 머신러닝에서 중요한 역할을 하며, 이들은 내적을 통해 정의된다. 4.3절 행렬 분해(matrix decomposition) 문맥에서 우리는 대칭 양의 정부호 행렬을 다시 다룰 것이다. 대칭 양의 준정부호 행렬(symmetric positive semidefinite matrices)의 아이디어는 커널(kernels)의 정의에서 핵심이 된다(12.4절).
$\quad$ 내적 $\langle \cdot, \cdot \rangle : V \times V \to \mathbb{R}$ (정의 3.3 참조)과 $V$ 의 순서가 있는 기저 $B = (b_1, \dots, b_n)$ 를 가진 $n$ 차원 벡터 공간 $V$ 를 고려하자. 2.6.1절을 상기하면, 임의의 벡터 $x, y \in V$ 는 기저 벡터들의 선형 결합으로 쓰일 수 있다. 즉, 적절한 $\psi_i, \lambda_j \in \mathbb{R}$ 에 대하여 $x = \sum_{i=1}^n \psi_i b_i$ 이고 $y = \sum_{j=1}^n \lambda_j b_j$ 이다. 내적의 이중 선형성(bilinearity) 때문에, 모든 $x, y \in V$ 에 대하여 다음이 성립한다:

$$ \langle x, y \rangle = \left\langle \sum_{i=1}^n \psi_i b_i, \sum_{j=1}^n \lambda_j b_j \right\rangle = \sum_{i=1}^n \sum_{j=1}^n \psi_i \langle b_i, b_j \rangle \lambda_j = \hat{x}^\top A \hat{y} \quad (3.10) $$

여기서 $A_{ij} := \langle b_i, b_j \rangle$ 이고, $\hat{x}, \hat{y}$ 는 기저 $B$ 에 대한 $x$ 와 $y$ 의 좌표이다. 이것은 내적 $\langle \cdot, \cdot \rangle$ 이 $A$ 를 통해 유일하게 결정됨을 의미한다. 내적의 대칭성은 또한 $A$ 가 대칭임을 의미한다. 더 나아가, 내적의 양의 정부호성은 다음을 의미한다:

$$ \forall x \in V \setminus \{0\} : x^\top A x > 0 \quad (3.11) $$

정의 3.4 (대칭, 양의 정부호 행렬). 식 (3.11)을 만족하는 대칭 행렬 $A \in \mathbb{R}^{n \times n}$ 은 대칭 양의 정부호(symmetric, positive definite) 혹은 줄여서 그냥 양의 정부호라고 불린다. 만약 식 (3.11)에서 $\ge$ (크거나 같다)만 성립한다면, $A$ 는 대칭 양의 준정부호(symmetric, positive semidefinite)라고 불린다.

예제 3.4 (대칭, 양의 정부호 행렬)

다음 행렬들을 고려하자:

$$ A_1 = \begin{bmatrix} 9 & 6 \\ 6 & 5 \end{bmatrix}, \quad A_2 = \begin{bmatrix} 9 & 6 \\ 6 & 3 \end{bmatrix} \quad (3.12) $$

$A_1$ 은 대칭이며, 모든 $x \in V \setminus {0}$ 에 대하여 다음이 성립하므로 양의 정부호이다:

$$ \begin{aligned} x^\top A_1 x &= \begin{bmatrix} x_1 & x_2 \end{bmatrix} \begin{bmatrix} 9 & 6 \\ 6 & 5 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} \\ &= 9x_1^2 + 12x_1 x_2 + 5x_2^2 = (3x_1 + 2x_2)^2 + x_2^2 > 0 \end{aligned} $$

반면, $A_2$ 는 대칭이지만 양의 정부호가 아니다. 왜냐하면 $x^\top A_2 x = 9x_1^2 + 12x_1 x_2 + 3x_2^2 = (3x_1 + 2x_2)^2 - x_2^2$ 가 0보다 작을 수 있기 때문이다. 예를 들어, $x = [2, -3]^\top$ 일 때 그렇다.

$\quad$ 만약 $A \in \mathbb{R}^{n \times n}$ 이 대칭 양의 정부호라면,

$$ \langle x, y \rangle = \hat{x}^\top A \hat{y} \quad (3.14) $$

는 순서가 있는 기저 $B$ 에 대한 내적을 정의한다. 여기서 $\hat{x}$ 와 $\hat{y}$ 는 기저 $B$ 에 대한 $x, y \in V$ 의 좌표 표현이다.

정리 3.5. 실수 값을 가지는 유한차원 벡터 공간 $V$ 와 $V$ 의 순서가 있는 기저 $B$ 에 대하여, $\langle \cdot, \cdot \rangle : V \times V \to \mathbb{R}$ 가 내적인 필요충분조건은 다음을 만족하는 대칭 양의 정부호 행렬 $A \in \mathbb{R}^{n \times n}$ 이 존재하는 것이다:

$$ \langle x, y \rangle = \hat{x}^\top A \hat{y}. \quad (3.15) $$

$\quad$ 만약 $A \in \mathbb{R}^{n \times n}$ 이 대칭이고 양의 정부호라면 다음 성질들이 성립한다:

  • $A$ 의 영공간(null space, 또는 커널)은 오직 $\mathbf{0}$ 으로만 구성된다. 왜냐하면 모든 $x \neq \mathbf{0}$ 에 대하여 $x^\top A x > 0$ 이기 때문이다. 이는 $x \neq \mathbf{0}$ 이라면 $Ax \neq \mathbf{0}$ 임을 의미한다.
  • $A$ 의 대각 원소 $a_{ii}$ 는 양수이다. 왜냐하면 $a_{ii} = e_i^\top A e_i > 0$ 이기 때문이다. 여기서 $e_i$ 는 $\mathbb{R}^n$ 의 표준 기저의 $i$ 번째 벡터이다.